视频文本检索一直是多模式研究中的至关重要和基本任务。大型多模式对比预训练的发展，视频文本检索的开发已大大促进，这主要侧重于粗粒或细粒对比。然而，在先前的研究中很少探索过跨粒度的对比，这是粗粒表示和细粒度表示之间的对比。与细粒度或粗粒的对比相比，交叉粒度对比度计算了粗粒粒度特征与每个细粒特征之间的相关性，并且能够过滤出不必要的细颗粒特征，这些特征由粗粒度的特征引导相似性计算，从而提高了检索的准确性。为此，本文提出了一种新型的多透明对比模型，即X-CLIP，用于视频文本检索。但是，另一个挑战在于相似性聚集问题，该问题旨在将细粒度和跨粒度相似性矩阵与实例级别的相似性汇总。为了应对这一挑战，我们提出了对相似性矩阵（AOSM）模块的关注，以使模型重点放在基本帧和单词之间的对比度上，从而降低了不必要的帧和单词对检索结果的影响。 X-CLIP具有多透明的对比度和提议的AOSM模块，在五个广泛使用的视频文本检索数据集上取得了出色的性能，包括MSR-VTT（49.3 R@1），MSVD（50.4 R@1），LSMDC（26.11）（26.1 r@1），didemo（47.8 r@1）和ActivityNet（46.2 r@1）。它的表现优于先前的最先前， +6.3％， +6.6％， +11.1％， +6.7％， +3.8％的相对改善对这些基准测试，这表明了多透明的对比度和AOSM的优势。
translated by 谷歌翻译
数据增强是提高深度学习数据效率的必要条件。对于视觉预训练，仅在以前的作品中为图像或文本增强数据。在本文中，我们介绍了Mixgen：视觉表示的联合数据增强学习，以进一步提高数据效率。它生成了新的图像文本对，并通过插值图像和串联文本保留了语义关系。它很简单，可以插入现有管道中。我们在五个下游视觉语言任务中评估了四个架构，包括夹子，vilt，albef和tcl在内的混合带，以显示其多功能性和有效性。例如，在ALBEF预训练中添加Mixgen会导致下游任务的绝对性能改进：图像文本检索（可可微型调整为+6.2％，Flicker30k零射击），视觉接地（+0.9％）（+0.9％） refcoco+），视觉推理（nlvr $^{2} $的+0.9％），视觉询问答案（vqa2.0上的+0.3％）和视觉效果（snli-ve上的+0.4％）。
translated by 谷歌翻译
像素合成是图像生成的有前途的研究范式，可以很好地利用像素的先验知识来生成。但是，现有方法仍然遭受过多的内存足迹和计算开销。在本文中，我们提出了一个渐进的像素合成网络，用于有效的图像生成，以像素型构成。具体而言，PixelFolder将图像生成作为渐进的像素回归问题制定，并通过多阶段结构合成图像，这可以大大减少由大型张量转换引起的开销。此外，我们引入了新型的像素折叠操作，以进一步提高模型效率，同时保持像素的先验知识以进行端到端回归。通过这些创新的设计，我们大大减少了像素合成的支出，例如，与最新的像素合成方法CIPS相比，减少了89％的计算和53％的参数。为了验证我们的方法，我们在两个基准数据集（即FFHQ和LSUN教堂）上进行了广泛的实验。实验结果表明，PixelFolder的支出要少得多，在两个基准数据集上获得了新的最先进（SOTA）性能，即3.77 FID和2.45 FID在FFHQ和LSUN教堂上。比SOTA方法效率高，例如stylegan2，分别降低了约72％的计算和31％的参数。这些结果极大地验证了所提出的像素的有效性。
translated by 谷歌翻译
传统的深度传感器产生准确的真实世界深度估计，即使仅在仿真域训练的最先进的学习方法也会超越。由于在模拟域中容易获得地面真理深度，但在真实域中很难获得，因此我们提出了一种利用两个世界的最佳方法的方法。在本文中，我们展示了一个新的框架，ActiveZero，这是一个混合域学习解决方案，适用于不需要真实世界深度注释的活动立体宽度系统。首先，我们通过使用混合域学习策略来证明我们的方法对分发外数据的可转换性。在仿真域中，我们在形状原语数据集上使用监督差异丢失和自我监督损失的组合。相比之下，在真实域中，我们只在数据集中使用自我监督损失，这些损失是从培训仿真数据或测试真实数据的分发。其次，我们的方法介绍了一种名为Temporal IR的自我监督损失，以增加我们在难以感知地区的重新注入的鲁棒性和准确性。最后，我们展示了如何训练该方法的端到端，并且每个模块对于获得最终结果很重要。关于真实数据的广泛定性和定量评估表明了甚至可以击败商业深度传感器的最新状态。
translated by 谷歌翻译
具有可控的生成序列模型具有提取和复制特定示例样式的能力，可以实现许多应用程序，包括在不同声音中叙述有声读物，自动完成和自动校正书面手写，以及为下游识别任务生成缺少的培训示例。但是，在无监督式的设置下，可控序列生成模型的典型训练算法遭受了训练 - 推导不匹配的影响，在训练过程中，相同的样品在训练过程中用作内容和样式输入，但在推断期间给出了未配对的样本。在本文中，我们解决了在无监督的可控生成序列模型中遇到的训练推断不匹配。所提出的方法很简单却有效，我们使用样式转换模块将目标样式信息传输到无关的样式输入中。此方法可以使用未配对的内容和样式样本进行培训，从而减轻训练推荐不匹配。我们将样式均衡应用于三个数据集上的文本对语音和文本写作合成。我们进行彻底的评估，包括定量和定性用户研究。我们的结果表明，通过减轻培训 - 推导与拟议的样式均衡的不匹配，我们在用户研究中实现了与真实数据相当的样式复制分数。
translated by 谷歌翻译
b) MVS-NeRF no fine-tuning c) MVS-NeRF 6 min fine-tuning d) NeRF 5.1h optimization a) Source views SSIM:0.766 SSIM: 0.923 SSIM:0.924 * Equal contribution Research done when Anpei Chen was in a remote internship with UCSD.generalizable radiance field reconstruction. Moreover, if dense images are captured, our estimated radiance field representation can be easily fine-tuned; this leads to fast per-scene reconstruction with higher rendering quality and substantially less optimization time than NeRF.
translated by 谷歌翻译
Recently, the success of pre-training in text domain has been fully extended to vision, audio, and cross-modal scenarios. The proposed pre-training models of different modalities are showing a rising trend of homogeneity in their model structures, which brings the opportunity to implement different pre-training models within a uniform framework. In this paper, we present TencentPretrain, a toolkit supporting pre-training models of different modalities. The core feature of TencentPretrain is the modular design. The toolkit uniformly divides pre-training models into 5 components: embedding, encoder, target embedding, decoder, and target. As almost all of common modules are provided in each component, users can choose the desired modules from different components to build a complete pre-training model. The modular design enables users to efficiently reproduce existing pre-training models or build brand-new one. We test the toolkit on text, vision, and audio benchmarks and show that it can match the performance of the original implementations.
translated by 谷歌翻译
作为常用的图像压缩格式，JPEG已广泛应用于图像的传输和存储。为了进一步降低压缩成本，同时保持JPEG图像的质量，已提出无损的转码技术来重新压缩DCT域中的压缩JPEG图像。另一方面，以前的工作通常会降低DCT系数的冗余性，并以手工制作的方式优化熵编码的概率预测，缺乏概括能力和灵活性。为了应对上述挑战，我们提出了通过关节损失和残留压缩的学习的无损JPEG转码框架。我们没有直接优化熵估计，而是关注DCT系数中存在的冗余。据我们所知，我们是第一个利用学习的端到端损失变换编码来减少紧凑型代表域中DCT系数的冗余的人。我们还引入了无损转编码的残留压缩，在使用基于上下文的熵编码对其进行压缩之前，它会自适应地学习残留DCT系数的分布。我们提出的转码结构在JPEG图像的压缩中表现出显着的优势，这要归功于学习的损失变换编码和残留熵编码的协作。在多个数据集上进行的广泛实验表明，根据JPEG压缩，我们提出的框架平均可以节省约21.49％的位，这表现优于典型的无损失转码框架JPEG-XL的jpeg-XL 3.51％。
translated by 谷歌翻译
构建一个通用视频语言模型，用于解决各种视频理解任务（例如，文本视频检索，视频问答）是对机器学习领域的开放挑战。为了实现这一目标，最近的尝试训练模型，通常由单峰和跨模式的特征编码器组成，并具有受监督或成对的对比度的预文本任务。尽管提供了有吸引力的通用性，但最终的模型必须在效率和性能之间妥协。我们认为这些缺陷是由它们的预训练策略\ Textemdash引起的，它们不能很好地对齐和融合不同方式的特征。然后，我们将三叶草（一种相关的视频预培训方法）介绍给一个通用的视频语言模型，该模型用于解决既不效率也不妥协的多个视频理解任务。它通过新的三模式比对预训练任务来改善跨模式特征对齐和融合。此外，我们建议通过合并蒙面样品的学习和新颖的成对排名损失来增强三模式对齐。三叶草表现出了出色的一般性。它在多个下游任务上建立了新的最新技术，包括零射击和微调设置的三个检索任务，以及八个视频问答任务。代码和预培训模型将在https://github.com/leeyn-43/clover上发布。
translated by 谷歌翻译
在本文中，我们提出了一个简单而通用的网络，该网络称为SEQTR，用于视觉接地任务，例如短语本地化，参考表达理解（REC）和分割（RES）。视觉接地的规范范例通常需要在设计网络体系结构和损失功能方面具有丰富的专业知识，从而使它们难以跨越跨任务进行推广。为了简化和统一建模，我们将视觉接地作为点预测问题在图像和文本输入上进行条件，其中边界框或二进制掩码表示为一系列离散坐标令牌。在此范式下，视觉接地任务是在我们的SEQTR网络中统一的，而没有特定于任务的分支或头部，例如RES的卷积蒙版解码器，这大大降低了多任务建模的复杂性。此外，SEQTR还具有简单的交叉渗透损失，共享所有任务的相同优化目标，从而进一步降低了部署手工制作的损失功能的复杂性。五个基准数据集的实验表明，所提出的SEQTR优于现有的最新技术（或与之相提并论），这证明了一种简单而通用的视觉接地方法确实是可行的。源代码可在https://github.com/sean-zhuh/seqtr上获得。
translated by 谷歌翻译